In the new era of personalization, learning the heterogeneous treatment effect (HTE) becomes an inevitable trend with numerous applications. Yet, most existing HTE estimation methods focus on independently and identically distributed observations and cannot handle the non-stationarity and temporal dependency in the common panel data setting. The treatment evaluators developed for panel data, on the other hand, typically ignore the individualized information. To fill the gap, in this paper, we initialize the study of HTE estimation in panel data. Under different assumptions for HTE identifiability, we propose the corresponding heterogeneous one-side and two-side synthetic learner, namely H1SL and H2SL, by leveraging the state-of-the-art HTE estimator for non-panel data and generalizing the synthetic control method that allows flexible data generating process. We establish the convergence rates of the proposed estimators. The superior performance of the proposed methods over existing ones is demonstrated by extensive numerical studies.
translated by 谷歌翻译
最近，3D视觉和语言任务吸引了不断增长的研究兴趣。与其他视觉和语言任务相比，3D视觉问题回答（VQA）任务的利用较小，并且更容易受到语言先验和共同参考的歧义。同时，由于规模和注释方法有限，最近提出的几个3D VQA数据集并不能很好地支持3D VQA任务。在这项工作中，我们通过收集一个新的3D VQA数据集（称为FE-3DGQA），正式定义和解决3D接地的VQA任务，并具有多样化且相对自由形式的提问，以及密集和完全接地的边界框注释。为了获得更多可解释的答案，我们标记了出现在复杂的质量检查对中的对象，该对象具有不同的语义类型，包括答案接地的对象（均出现并未出现在问题中），以及用于答案的对象的上下文对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉扎根和可解释的答案。广泛的实验证明，我们新收集的基准数据集可有效地用于评估不同方面的各种3D VQA方法，而我们新提出的框架也可以在新的基准数据集中实现最新的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3dgqa上公开获得。
translated by 谷歌翻译
尖峰神经网络（SNNS）模仿大脑计算策略，并在时空信息处理中表现出很大的功能。作为人类感知的基本因素，视觉关注是指生物视觉系统中显着区域的动态选择过程。尽管视觉注意力的机制在计算机视觉上取得了巨大成功，但很少会引入SNN中。受到预测注意重新映射的实验观察的启发，我们在这里提出了一种新的时空通道拟合注意力（SCTFA）模块，该模块可以通过使用历史积累的空间通道信息来指导SNN有效地捕获潜在的目标区域。通过在三个事件流数据集（DVS手势，SL-Animals-DVS和MNIST-DVS）上进行系统评估，我们证明了带有SCTFA模块（SCTFA-SNN）的SNN不仅显着超过了基线SNN（BL-SNN）（BL-SNN）（BL-SNN）以及其他两个具有退化注意力模块的SNN模型，但也通过现有最新方法实现了竞争精度。此外，我们的详细分析表明，所提出的SCTFA-SNN模型对噪声和出色的稳定性具有强大的稳健性，同时保持了可接受的复杂性和效率。总体而言，这些发现表明，适当纳入大脑的认知机制可能会提供一种有希望的方法来提高SNN的能力。
translated by 谷歌翻译
尽管最近在跨模式检索领域取得了进展，但由于缺乏手动注释的数据集，研究的重点较少。在本文中，我们提出了一种用于低资源语言的噪声跨语法跨模式检索方法。为此，我们使用机器翻译（MT）来构建低资源语言的伪并行句子对。但是，由于MT并不完美，因此它倾向于在翻译过程中引入噪音，从而使文本嵌入被损坏，从而损害了检索性能。为了减轻这一点，我们引入了一种多视图自我验证方法来学习噪声稳定目标语言表示，该方法采用了跨注意模块来生成软伪靶标，以从基于相似性的视图和功能 - 功能 - 基于视图。此外，受到无监督的MT的反向翻译的启发，我们最大程度地减少了原点句子和反翻译句子之间的语义差异，以进一步提高文本编码器的噪声稳健性。在三个视频文本和图像文本跨模式检索基准跨不同语言上进行了广泛的实验，结果表明，我们的方法显着改善了整体性能，而无需使用额外的人体标记数据。此外，从最近的视觉和语言预训练框架（即剪辑）中配备了预训练的视觉编码器，我们的模型可实现显着的性能增长，这表明我们的方法与流行的预训练模型兼容。代码和数据可在https://github.com/huiguanlab/nrccr上找到。
translated by 谷歌翻译
在本报告中，我们建议针对四个EGO4D挑战任务，包括自然语言查询（NLQ），MOMMER QUERY（MQ），对象状态变更分类（OSCC），以及PNR定位（PNR）。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个验证的视频语言模型，该模型能够将其以自我为中心的视频文本表示或仅视频表示形式转移到几个视频下游任务中。我们的Egentric VLP在NLQ上实现10.46r@1&iou @0.3，MQ上的10.33地图，OSCC上的74％ACC，PNR上的0.67秒错误。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
在本报告中，我们为Epic-kitchens-100多实体检索（miR）挑战提出了一个基于视频的预处理（VLP）解决方案\ cite {kevin202222222egovlp}。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个预验证的视频语言模型，该模型能够将其自我为中心的视频文本表示为mir基准。此外，我们设计了一种自适应多构度最大损失，以有效地微调模型并为可靠的推理配备双重效果技术。我们最好的单个模型在挑战测试集上获得了强劲的性能，其中47.39％的地图和61.44％的NDCG。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
最近，基于合成数据的实例分割已成为一种极其有利的优化范式，因为它利用模拟渲染和物理学来生成高质量的图像宣传对。在本文中，我们提出了一个并行预训练的变压器（PPT）框架，以完成基于合成数据的实例分割任务。具体而言，我们利用现成的预训练的视觉变压器来减轻自然数据和合成数据之间的差距，这有助于在下游合成数据场景中提供良好的概括，几乎没有样本。基于SWIN-B基的CBNET V2，基于SWINL的CBNET V2和SWIN-L基统一器用于并行特征学习，并且这三个模型的结果由像素级非最大最大抑制（NMS）算法融合来获得更强大的结果。实验结果表明，PPT在CVPR2022 AVA可访问性视觉和自主性挑战中排名第一，地图为65.155％。
translated by 谷歌翻译
视频文本预培训旨在通过对齐视觉和文本信息之间的语义来对齐大规模视频文本对学习可转换表示。最先进的方法以端到端的方式从原始像素提取视觉特征。然而，这些方法直接在帧级运行，从而忽略了视频中对象的时空结构，这在文本描述中具有名词的强烈协同作用。在这项工作中，我们提出了一个简单而有效的模块，即用于视频文本表示学习，即RegionLearner，它可以考虑在大规模视频文本对预训练中的对象结构。给定视频，我们的模块（1）首先将可视特征量化为语义集群，然后（2）生成被动掩码并使用它们聚合属于同一语义区域的功能，最后（3）模拟不同聚合区域之间的交互。与使用现成的对象探测器相比，我们所提出的模块不需要明确的监督，并且更加计算效率。我们在公共WebVID2M和CC3M数据集上预先列车。对四个下游视频文本检索基准测试的广泛评估清楚地展示了我们的地区learner的有效性。代码将在https://github.com/ruiyan1995/region_learner上获得。
translated by 谷歌翻译
叙事制图是一项学科，研究了故事和地图的交织性质。然而，叙述的传统地理化技术经常遇到几个突出的挑战，包括数据采集和一体化挑战和语义挑战。为了解决这些挑战，在本文中，我们提出了具有知识图表（KGS）的叙事制图的想法。首先，要解决数据采集和集成挑战，我们开发了一组基于KG的地理学工具箱，以允许用户从GISYstem内搜索和检索来自集成跨域知识图中的相关数据以获得来自GISYSTEM的叙述映射。在此工具的帮助下，来自KG的检索数据以GIS格式直接实现，该格式已准备好用于空间分析和映射。两种用例 - 麦哲伦的远征和第二次世界大战 - 被提出展示了这种方法的有效性。与此同时，从这种方法中确定了几个限制，例如数据不完整，语义不相容，以及地理化的语义挑战。对于后面的两个限制，我们为叙事制图提出了一个模块化本体，它将地图内容（地图内容模块）和地理化过程（制图模块）正式化。我们证明，通过代表KGS（本体）中的地图内容和地理化过程，我们可以实现数据可重用性和叙事制图的地图再现性。
translated by 谷歌翻译
最近，通过引入大规模的数据集和强大的变压器网络，视频预培训表明尤其是检索的巨大成功。然而，现有的视频语言变压器模型没有明确细粒度的语义对齐。在这项工作中，我们呈现了对象感知的变换器，以对象为中心的方法，该对象方法扩展了视频语言变压器来合并对象表示。关键的想法是利用边界框和对象标签来指导培训过程。我们在四个广泛使用的基准测试中评估了我们的三个标准子任务的模型。我们还提供了深入的分析和详细消融关于所提出的方法。我们在考虑的所有任务和数据集中表现出清晰的性能，展示将对象表示的模型中的型号集成到视频架构中。代码将以\ URL {https://github.com/fingerrec/oa -transformer}释放。
translated by 谷歌翻译